推荐语：微观计量已经逐渐深入到研究生，甚至本科生层面的计量教学当中。微观计量的核心目的是因果识别，然而在地方院校，因果效应在非计量经济学的其他日常经济学教学中被强调的还是不够，甚至很多课程都不强调模型的内生变量和外生变量。目前的情形是，一边是一些技巧性的培训课程风靡全国，一边是本科生课上鲜有提及因果识别。姚老师的这篇推文，非常适合本科生和低年级研究生，甚至是一些教师来理解现在社会科学研究中已经引入的基于实验的因果识别策略是如何开展的，特别是如何理解和提高科学实验的内部效度，又为何要警惕“成功”的科学试验的外部效度问题，这一点特别对更加复杂的社会科学项目具有警示意义。最后，我本人很期待姚老师再撰文介绍什么是元分析技术。
——杨奇明
长期以来，社会科学研究都是基于现实世界的观察性数据来进行因果关系识别。然而，经验观察一般难以排除不可观测因素的干扰，结果使得因果关系识别受到样本选择、遗漏变量等诸多问题的困扰。作为一种回应，实验方法开始被引入社会科学研究领域。从目前的发展态势来看，实验方法正在掀起一场方法论革命。本文从效度角度，举例介绍了实验方法的基本原理。
科学实验的基本特征是操纵与控制——操纵一个变量的变化，同时严格控制其他各种相关变量的影响，然后再考察结果相应会产生怎样的变化。其中，严格控制其他各种变量的影响，就是为了保证实验具有较高的内部效度。亦即确保，除了归因于被操纵变量的变化，结果的变化很难存在其他解释。科学实验之所以需要精心设计，就是为了尽力提高实验的内部效度，准确揭示出事物间的因果关系。我们设想一个药物实验案例，对其进行举例说明。
“ 为了评估药物疗效，研究者会安排一组患者服药，然后再考察他们在服药后的病情变化。在这里，需要评估的药物疗效就是所谓的处理效应，而该组患者被称为处理组。若处理组在服药后从整体上看病情有所好转，则是否一定归因于药物的疗效呢？答案是否定的，因为疾病有时能因人体的惊人自愈能力而好转。换言之，研究者还有必要控制自愈效应的影响。
”那么，如何控制自愈效应的影响呢？我们不妨进行一种反事实思考，想像处理组在未服药情况下，他们的病情将会出现什么变化。显然，通过比较处理组在服药与未服药两种情况下的病情变化的差异，就可以控制自愈效应的影响——因为即使此效应在两种情况下均会造成病情的变化，但其不会造成病情变化在两种情况间的差异。很遗憾，处理组未服药的情况仅是一种思想实验，因为你不可能同时让一个人既服药又不服药。作为可行的“替代”方案，研究者可以在安排处理组服药的同时，再安排另一组患者不服药。此组患者其实是处理组在未服药情况下的“替身”，这就是所谓的对照组。通过比较处理组与对照组的病情变化差异，就能控制自愈效应。但问题仍未结束，因为处理组与对照组在其他方面很可能还存在系统性的差异。我们不能因为控制了自愈效应，就草率地将处理组与对照组的病情差异归因于药效。例如，与服药与否的差异相伴而生的一种系统性差异是，与对照组相比较，处理组或许受益于安慰剂效应——亦即只要服药者认为自己得到了治疗，即使其服用的是没有药效的糖丸，但心理作用仍可能使得病情出现好转。那么，又该如何控制安慰剂效应呢？简单的方法就是让所有患者都服药，只不过处理组服用的是真药，而对照组服用的是无任何药效的糖丸（安慰剂）——当然要确保所有患者不知道事情的真相，或者说确保患者对其所接受的治疗是“盲目”的。研究者往往也会让实验的工作人员与患者一样“盲目”，以防工作人员透露出蛛丝马迹，让患者能根据某些线索对其所服用的药物有所怀疑。另外，这也有利于保证工作人员不会戴着“有色眼镜”观察患者病情的变化，而是客观准确地记录实验数据。然而，即使安慰剂效应现在已经得到控制，但通过比较处理组与对照组的病情所识别出的处理效应，仍然很可能不“干净”。例如，万一选择进入处理组的患者都是一些身体状况较差的患者呢？如果处理组与对照组存在这类系统性的差异，那么会导致处理效应存在所谓的选择性偏误。为此，研究者一般会将患者随机地分配到处理组与对照组。随机分配当然并不能确保处理组与对照组在身体状况等方面从整体上看不存在任何差异，但是其能确保，如果存在差异，那么这种差异也是偶然性而非系统性的，属于所谓的抽样误差。现在的问题是，怎么控制抽样误差带来的影响呢？解决方案为——
第一，在条件允许的情况下，进行大样本实验，因为基本的概率原理告诉我们，样本容量越大，则出现较大抽样误差的概率越小；
第二，对处理组与对照组在实验结果上的差异进行统计学检验，以考察这一差异在多大程度上可用抽样误差来解释。
通俗地说，如果这一差异足够大，以致很难用抽样误差来解释，那么我们就认为该差异具有统计显著性。
通过上述药物实验的例子，我们对随机双盲对照实验的基本原理进行了简单介绍。随机双盲对照实验遵循三大基本原则——设置对照组，对被试进行随机化分组与盲法实验，具有很高的内部效度，被公认为是评估处理效应的黄金标准。
一个被精心设计的科学实验虽然具有较高的内部效度，但也有其自身的缺点——在随机双盲对照实验中，研究者操纵一个变量的变化，同时对其他各种变量的影响进行严格控制，而这就使得实验情景变得有些虚假而不像实际的生活。例如，在药物实验中，患者一般会按照工作人员的要求定时定量服药，同时饮食也被统一安排，这就与真实的生活场景就不太一样。再例如，在某个国家进行的药物实验中，患者的种族很可能是相同的，但当药物上市后，使用药物的患者则可能具有来自不同的种族。
如果实验情景与真实的生活场景有很大的差别，那么或许会使得实验结果难以被推广到实验之外。所谓外部效度，就是一项实验的结果能够推广到其他情景的程度。在药物实验案例中，如果药物疗效大小很大程度上取决于服药的规律性，那么该实验结果就很可能缺乏外部效度。若认识世界的最终目的在于改造世界，则一个缺乏外部效度的实验无疑是令人失望的。那么，怎样提高实验方法的外部效度呢？显然，一个很好的方法是进行现场实验，即研究者在现实情景中对真实对象进行随机对照实验。例如，研究者可以将不同患者随机分配到处理组与对照组，然后让他们在日常生活中按照自己的意愿服用药物（或者安慰剂），最后再比较处理组与对照组的病情变化的差异。不少学者认为，现场实验兼具内部效度与外部效度，是科学研究的利器。最近十年来，现场实验开始兴起于社会科学领域。例如，其已成为发展经济学的重要实证研究工具，广泛应用于反贫困和发展政策评估研究。然而不幸的是，现场实验也存在一些问题。例如，在药物现场实验中，虽然随机分配可以保证，除了存在一组接受的是药物而另一组接受的是安慰剂这一差异，处理组与对照组在其他方面不存在系统性的差异，但存在如下两大问题：第一，被分配到处理组的患者并不一定会服用药物，而未被分配到处理组的患者反而通过某种方式服用了药物，这就是所谓的“规则抗拒”（Noncompliance）；第二，某些患者可能中途退出实验，这就是所谓的“样本损耗”（Attrition）。上述两大问题不容忽视，因为两者很可能不是外生的，与患者们对实验结果的预期有关，而预期又会显著影响实验结果。如果这两大问题确实存在，那么通过简单比较处理组与对照组的病情来识别处理效应，就会产生很大的偏差，亦即实验将具有较低的内部效度。与之相比，若在实验室中进行实验，则这两个问题很容易得到控制。由此我们不难理解，外部效度与内部效度往往不可兼得，而这被一些学者称为科学实验的基本困境。最后补充一点，检验一项实验是否具有较高外部效度的最佳手段是重复实验。只有在不同实验情境下针对不同被试重复进行某项研究，我们才能确定实验结果到底有多大的可推广性。当然，重复实验总会产生有差异的结果，不过我们可以利用一种被称为元分析法的统计技术，对大量重复实验结果进行平均处理，进而据此评估处理效应是否可靠。从内部效度看，实验方法相对于传统方法的确具有很大优势。但有必要指出，在某些情况下，实验方法仍不能排除不可观测因素的干扰。例如，如果未知干扰因素导致被试对于实验处理的反应具有异质性，那么实验方法就会产生“异质性实验处理效应”问题。因此，我们也不能把实验方法视作进行因果识别的万灵药（Panacea）。从外部效度看，基于实验室的实验方法存在“软肋”，而现场实验是提高外部效度的有效手段，但外部效度与内部效度很难兼顾。面对这种基本困境，至少在经济学领域，一种共识正在形成：若与经济理论或模型恰当结合，则实验方法在保持较高内部效度的同时，还能提供更多具有一般性的政策含义，改善其外部效度。
姚耀军，1976年出生，湖北利川人，浙江工商大学金融学院教授、博士生导师，浙江省高校中青年学科带头人，浙江省首期之江青年社科学者，浙江省“151人才工程”第三层次培养人员，杭州市“十三五”哲学社会科学应用经济学学科组评审专家，企研数据学术顾问。长期从事金融发展理论与实证研究，在《China & World Economy》《Frontiers of Economics in China》《金融研究》《数量经济技术经济研究》《财贸经济》《中国农村经济》等学术期刊上发表论文多篇，部分成果被《新华文摘》《中国法经济学研究》《中国经济的转型升级：新结构经济学方法与应用》《高等学校文科学术文摘》《人大复印资料》收录或者转载。主持教育部人文社科项目、浙江社会科学基金重点项目、浙江省自然科学基金项目等纵向课题多项。荣获中国制度经济学年会优秀论文奖、全国金融硕士教学案例大赛优秀案例奖、浙江省高校优秀科研成果一等奖、《金融研究》优秀论文奖、《财经研究》创刊60周年优秀论文一等奖等荣誉。担任《金融研究》《财经研究》等多个学术期刊的审稿专家。
►往期推荐
回复【Python】👉简单有用易上手
回复【学术前沿】👉机器学习丨大数据
回复【数据资源】👉公开数据
回复【可视化】👉你心心念念的数据呈现
回复【老姚专栏】👉老姚趣谈值得一看
►一周热文
中秋特刊 | R还可以绘图：八月十五招友玩“月”
特别推荐丨老姚专栏：遗漏变量偏差中的高估与低估
工具＆方法丨经济学圈特供 使用Jupyter Notebook的12个小技巧
数据呈现 | 用R绘制箱线、散点图，揭示地区企业进退规律
数据Seminar
这里是大数据、分析技术与学术研究的三叉路口
作者：姚耀军推荐：杨奇明编辑：青酱
欢迎扫描👇二维码添加关注